Token-Operations-Oriented Inference Optimization Techniques for Large Models
面向 Token 操作的大模型推理优化技术
🧭 大模型推理成本与效率优化
China Unicom (Data Intelligence / Data Science and AI Research Institute) · Tsinghua University · Peking University · Fudan University · Zhejiang Lab
首次提出四层 token 推理优化架构，系统梳理降本增效的产业技术路径
📌 工作参考价值（4 点）
- 模型路由与多模型融合：推荐系统常需多模型（精排、粗排、RAG等）协同，可借鉴论文的模型路由与融合调度策略，减少总推理调用量，降低 token 成本。
- KV Cache 命中与跨阶段复用：对话式推荐、Agent 记忆、长会话推荐中，跨请求的 KV Cache 缓存与预填充策略可直接降低首 token 延迟，提升交互体验。
- 量化与投机解码落地：对部署在 CPU/端侧的 LLM4Rec 模型，采用 INT4/INT8 量化、投机解码等典型技术可将推理成本压缩 3-5 倍，适合高并发推荐场景。
- 动态批处理与负载均衡：在推荐模型在线服务中，动态 batching 与跨节点的负载均衡可平滑流量峰值，保障推荐链路稳定性，尤其适合大促峰值保障。